从遗传算法、粒子群算法、模拟退火算法理解启发式算法优化的本质

温馨小提示：本文章主要提炼了遗传算法（GA）、粒子群算法（PSO）和模拟退火算法（SA）的精髓，故更适合具有一定基础的童鞋加深理解。

1.1 遗传算法（GA）

1.1.1 实际问题中

（1）确定目标函数，并建立与遗传算法中适应度函数的关系

（2）确定需要优化的参数

1.1.2 遗传算法的寻优过程

（1）根据之前确定的优化参数进行编码；

（2）确定种群规模，并对种群进行初始化；

（3）选择其中一部分个体或全部个体，按照预定的交叉概率进行交叉操作；

（4）选择其中一部分个体或全部个体，按照预定的变异概率进行变异操作；

（5）根据适应度函数以及相应的新解接受准则进行子代的选择；

（6）终止准则。

1.2 模拟退火算法（SA）

1.2.1 概念

模拟退火算法的简单理解：加热到较高温度缓慢冷却到结晶的过程中，类似热力学系统，随着温度的缓慢降低，系统能量逐渐趋于最低的过程。

1.2.2 核心部分

模拟退火算法包含内外两重循环：其中外循环由温度控制，而温度受初始温度、终止温度和温度衰减因子决定，温度对Metropolis准则具有影响；内循环由自己设定的次数确定，主要是控制每个温度下新解的产生次数，与缓慢降温过程相对应。

Metropolis准则：

上式中，